خلافه يزيد بن عبد الملك بن مروان وفيها ولى يزيد بن عبد الملك بن مروان ، وكنيته أبو خالد ، وهو ابن تسع وعشرين سنه في قول هشام بن محمد ، ولما ولى الخلافة نزع عن المدينة أبا بكر ابن محمد بن عمرو بن حزم ، وولاها عبد الرحمن بن الضحاك بن قيس الفهري ، فقدمها - فيما زعم الواقدي - يوم الأربعاء لليال بقين من شهر رمضان فاستقضى عبد الرحمن سلمه بن عبد الله بن عبد الأسد المخزومي . وذكر محمد بن عمر ، ان عبد الجبار بن عماره حدثه عن أبي بكر بن حزم ، أنه قال : لما قدم عبد الرحمن بن الضحاك المدينة وعزلنى ، دخلت عليه ، فسلمت فلم يقبل على ، فقلت : هذا شيء لا تملكه قريش للأنصار ، فرجعت إلى منزلي وخفته - وكان شابا مقداما - فإذا هو يبلغني عنه انه يقول : ما يمنع ابن حزم ان يأتيني الا الكبر ، وانى لعالم بخيانته ، فجاءني ما كنت احذر وما استيقن من كلامه ، فقلت للذي جاءني بهذا : قل له : ما الخيانة لي بعاده ، وما أحب أهلها ، والأمير يحدث نفسه بالخلود في سلطانه ، كم نزل هذه الدار من أمير وخليفه قبل الأمير فخرجوا منها وبقيت آثارهم أحاديث ان خيرا فخيرا وان شرا فشرا ! فاتق الله ولا تسمع قول ظالم أو حاسد على نعمه . فلم يزل الأمر يترقى بينهما ، حتى خاصم اليه رجل من بنى فهر وآخر من بنى النجار - وكان أبو بكر قضى للنجارى على الفهري في ارض كانت بينهما نصفين ، فدفع أبو بكر الأرض إلى النجاري - فأرسل الفهري إلى النجاري وإلى أبى بكر بن حزم ، فأحضرهما ابن الضحاك ، فتظلم الفهري من أبى بكر بن حزم ، وقال : اخرج مالي من يدي ، فدفعه إلى هذا النجاري ، فقال أبو بكر : اللهم غفرا ! اما رأيتني سالت أياما في امرك وامر صاحبك ، فاجتمع لي على إخراجها من يدك ، وأرسلتك إلى من أفتاني بذلك : سعيد بن المسيب وأبى بكر ابن عبد الرحمن بن الحارث بن هشام ، فسألتهما ؟ فقال الفهري : بلى ،